用户历史中的个性化物品表示 PRISM
🧭 序列推荐 · 个性化历史表示 ★ 深度解读
Meta MRS · Facebook Discovery
复用上游排序计算，为每个用户-物品对生成个性化历史嵌入，提升下游序列推荐质量
📌 工作参考价值（4 点）
- 复用上游排序器中间状态：不需要为历史序列单独训练一个 user-item 模型，而是从现成的 ranker 中提取 user tower、user-item tower 和 session mixing 的隐藏层，用 autoencoder 压缩成一个固定维度的 event embedding。这样可以把昂贵的个性化计算摊销到上游推理，下游只读取轻量向量。
- 多层状态联合压缩：将 user 状态、pair 状态、同请求候选混合状态的所有层 concatenate 后做归一化，再用一个带重构损失的 autoencoder 压缩到 128 维。注意对每一部分做 per-part normalization 控制尺度，并用 softsign 限制输出范围；重构损失只更新 encoder/decoder，不干扰主任务。这比只取最后一层或简单 pooling 信息更丰富。
- 个性化历史长度存在幂律收益：实验测得 NE 提升随历史长度 L 呈 ~L^0.468 增长，说明保留更多个性化事件是有持续收益的，但边际递减。业务上可以据此做 ROI 分析，选择合适的历史长度与存储成本。
- 工程落地细节：导出的 embedding 采用 INT8 量化，附带时间戳和生成器版本，下游通过版本化投影矩阵读取，兼容模型迭代。这种版本管理对线上推荐系统很实用，避免旧 embedding 失效。
截断与否？循环Transformer截断BPTT的缩放研究
🧭 循环Transformer训练与缩放律
MMLab, The University of Hong Kong · Yale University
拟合统一缩放律发现完整BPTT优于截断，两圈循环用27%少参数和8%多计算达到更低验证损失
📌 工作参考价值（3 点）
- 若在推荐/广告模型中采用共享层块的循环结构以减少参数量，不要为了省显存而截断BPTT；在同等总计算预算下，完整BPTT通过更少前向循环反而效果更好，可优先降低循环次数而非截断反向传播。
- 缩放律表明截断会“折扣”有效参数，因此在估算模型容量或做资源规划时，应把截断后的有效参数而非原始参数纳入考虑，尤其对于参数量敏感的端侧或在线学习场景。
- 当业务强约束参数量（如模型部署在边缘设备），可考虑训练两圈完整BPTT的循环Transformer，比计算最优非循环模型少约27%非embedding参数，且仅需多约8%训练计算，适合参数受限但训练算力相对宽裕的情况。
HELIX：净化并统一大规模推荐中的特征交互与序列建模
🧭 统一特征交互与序列建模的排序架构 ★ 深度解读
Data - Global E-Commerce Recommendation Video Team
用单向可复用 KV cache 与 Mixup-PerToken-FFN 联合扩展特征交互和序列建模，电商视频 GMV/用户提升约 6%
📌 工作参考价值（4 点）
- 把候选无关的用户行为序列编码成可复用 KV cache，候选侧只做 cross-attention 读取，强制单向信息流。这样在 serving 多候选、training 多样本时都能摊销 encoder 成本；如果搜广推系统里要接入用户长序列，这是可落地的架构选择。
- 异构特征交互可考虑用 Mixup-PerToken-FFN 替代 self-attention：参数免费的 Mixup 按通道切片重组 token，再用 token-wise SwiGLU 做非线性交互，比 self-attention 更适配稠密异构特征，且省计算。
- 序列 encoder 采用金字塔 query 压缩：按特征重要性给每条序列分配最近 token 预算，而不是全局截断或统一池化；配合 padding-free 变长执行，能显著降低长序列训练成本。
- 训练稳定性上，对 SwiGLU 的 gate/up 分支做非参数归一化可以避免 FP16 激活溢出；QK-Norm 和 value-side gated attention 在推荐排序模型里也有稳定 AUC 增益。
TransRetrieval：工业推荐 Transformer 召回规模化
🧭 模型化召回 · Transformer 规模化 ★ 深度解读
Renmin University of China · Taobao & Tmall Group of Alibaba · Beijing Key Laboratory of Research on Large Models and Intelligent Governance · Engineering Research Center of Next-Generation Intelligent Search and Recommendation, MOE
通过加权平均聚合、目标 token 压缩与位置式域嵌入，让 Transformer 召回实现 log-linear scaling
📌 工作参考价值（4 点）
- 多值/异构特征进 Transformer 前，用 weighted average 替代 weighted sum 或 concat，可低成本消除 token norm 随 feature cardinality 增长的问题，避免 attention 被高范数 token 主导；这是一行无参改动，适合先做验证。
- 模型化召回中，将目标侧特征压缩成单 token 可砍掉约 85% per-candidate FLOPs，再把算力重新投到更深/更宽的用户侧 Transformer，比保留多 target token + 小 backbone 更划算；压缩后向量也天然适配 HNSW 索引。
- 多域统一不必用 domain token 或 gate：位置式 domain embedding 逐元素加所有 token，共享全部 Transformer 参数，稀疏域能吃到跨域梯度，推理时零额外序列成本。
- 工程上可复用：同一请求所有候选共享用户侧 KV cache 并 broadcast；将单 query token 的多候选打包成 batch 并用 mask 隔离，解决 GPU 利用率低问题；检索算子全 GPU 化避免 host-device 往返；target compressor 独立成子图，支持 near-line 增量更新索引。
十亿级容量用户表征学习的行为稠密化定律
🧭 用户表征学习 · 行为 tokenization 与 scaling law ★ 深度解读
Ant Group · Zhejiang University
提出用户行为 Densing Law，量化最小充分 tokenization 容量随数据规模幂律增长，并用 RQ-VAE 与自适应分配突破 raw scaling wall
📌 工作参考价值（4 点）
- 亿级用户行为序列不要盲目加 raw 数据/模型参数；先诊断是否已饱和（通常几千万用户、60-90 天、0.2B 左右），优先上 RQ-VAE 行为 tokenization。
- tokenizer 配置用 Densing Law 预估：ln C* = β + α ln s，只需少量最小充分容量实验即可外推；容量用 C_tok = H M log K + η H M d 统一核算。
- 选 tokenizer 时注意表示空间冗余：SARQ/RQ-VAE 的 α 低于 VQ-VAE，同样数据量需要更小容量；业务上可把 α 作为 tokenizer 效率指标。
- 对高 routine 行为做自适应 token 深度分配（ALGN/entropy-based）：高信息段多分 codebook 层，常规段少分，提升 capacity efficiency；冻结 tokenizer 后与 raw baseline 同 encoder 对齐，方便归因。
Ring-Zero：将零RL扩展至万亿参数，激发涌现推理
🧭 RL训练大规模LLM涌现推理
Renmin University of China · Ant Group · Tsinghua University · Zhejiang University
通过算法与系统优化，将Zero RL稳定扩展到1T参数，发现涌现的高级推理行为。
📌 工作参考价值（4 点）
- 训练稳定性技巧：裁剪重要性采样、训练-推理比例校正、混合精度控制等trick可直接用于业务中Agent/LLM的RL微调，防止训练崩溃。
- 涌现行为无需手工启发式：观察到自我验证、结构化格式等自发行为，说明在推荐/搜索的CoT提示工程中，可减少人工设计，依赖模型自身涌现。
- CoT质量评估框架：从可理解性、可复现性、效率三维度评估推理轨迹，可用于评估商品推荐解释、搜索意图理解的中间过程。
- 大规模RL的样本效率：1T参数下样本效率显著提升，提示对资源受限的场景，可优先采用更大的预训练模型进行少量RL微调。
如何分配你的 Tokens？带训练步数与批量大小的缩放律
🧭 训练缩放律 · 显式分离步数与批量大小
Inria, École Normale Supérieure, PSL Research University, Paris
提出三项式缩放律，显式分离训练步数和批量大小，用更少实验恢复最优批量并推导次优批量缩放律
📌 工作参考价值（4 点）
- 在推荐/搜索大模型训练中，可利用三项式缩放律预测最优批量大小，减少超参搜索成本，直接根据总 token 预算分配模型大小、步数和批量。
- 当训练数据（如用户行为序列）总量固定时，通过权衡训练步数和批量大小，可在有限资源下达到更优损失，例如在生成式推荐模型微调时，若数据稀缺，可减小批量以增加步数来提升效果。
- 该缩放律允许利用次优批量下的实验点进行拟合，工程上只需少量试跑即可估算资源最优配置，适合多业务线（广告、搜索、推荐）快速探索。
- 推导的次优批量缩放关系可用于设计动态批量策略，例如在训练前期用小批量快速收敛，后期加大批量稳定训练，提升整体效率。
DeRes：解耦残差稳定性与自适应性的高效 CTR 预估
🧭 CTR 预估 · 残差连接 · 双路径架构 ★ 深度解读
双路径残差解耦稳定性与自适应，点式 SiLU 注意力支持多兴趣并行，得到更优 AUC 和更陡缩放律
📌 工作参考价值（4 点）
- 双路径残差设计：保留恒等跳跃连接保证梯度流和低阶特征复用，同时增加块注意力路径提取跨层高阶信号；电商推荐中特征异构性强，可照搬此解耦方式，避免深层 Transformer 的信号稀释。
- 点式注意力（Pointwise AttnRes）用 SiLU 替代 Softmax：打破跨层注意力的零和竞争，支持多兴趣同时激活并提供负权遗忘；适用于多兴趣用户建模（如 DIN 升级），可推广到序列推荐中的跨层特征聚合。
- 向量级门控融合：每个隐藏维度独立决定两路径权重，比标量门控更精细；可借鉴到多路特征融合场景，实现维度级别的自适应路由。
- 缩放律优化：在同等 FLOPs 下获得更高 AUC，8 层模型即达到 16 层 OneTrans 性能，计算节省约 2 倍；工业部署时可用更浅的网络达到同等效果，直接降低推理成本。